Las primeras noticias que encontramos del castro Rialb las encontramos en el testamento de Ramon Adalbert, que en 1065 donó al monasterio de Sant Serni de Tavernoles un alodio situado dentro del término del castillo.

No encontramos más noticias de esta fortificación hasta finales del siglo XIII, cuando era una posesión de la familia Bellera. Un miembro de esta familia, Jaume Bellera, vendió el Valle de Àssua y la baronía de Rialb al conde Arnau Roger de Pallars por 10.000 florines. En cambio, la alta justicia de todo este territorio pasó a Juan I, conde de Foix y vizconde de Castellbó, integrándose al vizcondado. Dos meses más tarde, el procurador del conde recorrió la zona para tomar posesión y recibir el juramento de los señores y sus habitantes. Esto lo hizo sin la autorización del rey, lo que motivó que el Valle de Àssua, Rialp y otros lugares fueran ocupados por el sub-veguer del Pallars. A partir de ese momento fueron constantes las luchas por el control de esta zona entre los Foix y la Corona. Este conflicto no se resolvió hasta el 31 de Agosto del 1512, cuando Fernando el Católico confiscó el vizcondado de Castellbó, Rialb y Valle de Àssua. Un año más tarde, donó a su esposa, Germana de Foix, el vizcondado de Castellbó, los valles de Àssua, Ferrera y de Andorra, así como las villas de Castellbó, Castellciutat y Rialp.

Del castillo sólo se conserva el ángulo noreste. Del muro este aún podemos ver casi 7,5 metros de largo y unos siete metros de altura. El muro norte es un poco más corto, conservándose un poco más de 4,5 metros.

Encontramos dos niveles de aberturas en ambos muros. En el sector este se pueden ver dos grandes aspilleras de 70 centímetros de altura. Una de ellas ha sido reconstruida durante la reciente restauración del edificio.

Por la parte interior tienen forma de arco de medio punto.

En la parte superior también encontramos dos ventanas más de características similares, si bien una de ellas presenta una mayor apertura.

También encontramos una ventana de este tipo en la parte superior del muro norte.

En el nivel inferior hay otra apertura, que muy probablemente también era una aspillera por la parte exterior y con arco de medio punto por el interior. Sorprende el hecho de que en la restauración no se haya reconstruido esta apertura y en cambio, si que se rehiciera la del muro este. ¿No era realmente una ventana? Parece poco probable que hubiera una puerta en un nivel tan bajo del muro ...

Los muros están formados por piedras de pizarra unidas con mortero de cal, obteniendo un grosor de entre 130 centímetros y un metro.